网络训练时loss不下降的原因

您所在的位置:网站首页 train loss不下降 网络训练时loss不下降的原因

网络训练时loss不下降的原因

2024-07-09 10:32| 来源: 网络整理| 查看: 265

(1) train loss不断下降,test loss不断下降     可能发生的原因: 网络还在学习中,loss在稳步下降。 (2) train loss不断下降,test loss趋于不变     可能发生的原因: 网络出现过拟合的现象,因此在训练集上表现为网络仍在学习,但是test loss趋于不变说明网络泛化能力差。 (3) train loss趋于不变,test loss不断下降     可能发生的原因: 数据集100%是有问题的。 (4) train loss趋于不变,test loss趋于不变     可能发生的原因: loss开始在某一值附近不断振荡,说明网络学习遇到瓶颈,此时应该减小学习率或者减小batch size的大小。 (5) train loss不断上升,test loss不断上升     可能发生的原因: 网络结构的设计有问题; 训练时超参数的设置有问题; 数据集没有经过清洗。



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3